一項研究發現，人工智慧在醫療臨床決策中存在倫理挑戰，特別是不同AI模型在判斷道德問題時缺乏一致性，且部分模型會因意識到理解局限性而拒絕做出決策，凸顯人類監督的重要性。
人工智慧（AI）在醫療領域的應用日益廣泛，尤其在安寧照護中，雖然有望提升效率與減少錯誤，但也引發了潛在的倫理挑戰與不可預期影響，特別是AI在臨床決策過程中的判斷一致性問題。
根據《Hospice News》報導，安寧機構正積極探索將AI技術整合到服務中，期望透過智慧化工具減少臨床與帳務文件的錯誤，並提升營運效率及臨床決策品質。美國 American Academy of Hospice and Palliative Medicine (AAHPM) 新任董事會主席兼 Emory Healthcare 門診支持與安寧照護主任 Dr. Kimberly Curseen 指出，善用科技能減輕「幕後工作」的人力負擔，讓醫護人員能將更多精力放在病人照護和批判性思考上，進而提升醫病關係。
然而，在追求自動化的同時，確保資料準確性、保障病患隱私與自主權，可能導致AI面臨倫理上的「危險區」。佛羅里達大西洋大學安寧與緩和照護研究員 Dr. Javier Zaglul 共同主持的一項研究，對比了四種AI語言模型在九個模擬病患情境下的表現，探討其對末期病患預後的判斷、倫理推理及與緩和照護原則的相關性。
研究結果顯示，儘管每個 AI 系統的個別回應看似符合倫理且有充分理由，但由於缺乏一致性或結構化框架，當評估治療決策時，人類監督是絕對必要的。不同 AI 系統的設計導致其倫理推理與病患預後判斷「非常不同」。研究發現，所有 AI 工具都傾向於優化病患的存活可能性。值得注意的是，一些 AI 平台甚至因為意識到自身理解能力的局限性，而拒絕做出倫理臨床決策，例如 Gemini 就曾聲明「人類生命的價值已超出其能力範圍」。
Dr. Javier Zaglul 強調，試圖創造標準化結果反而可能導致偏見和變數，並仍會帶來情感負擔。他觀察到，期望 AI 能提供一致且可複製的輸出時，反而看到分歧的觀點。這些 AI 聊天工具雖然強大且令人印象深刻，但它們並非受過醫學決策資料訓練的專業分流工具。這項研究結果凸顯了 AI 輔助決策潛在的倫理挑戰。
因此，在將 AI 應用於臨床決策時，醫療界需深入理解其局限性，並堅守人類監督的核心原則，才能確保 AI 科技在提升醫療品質的同時，不損及醫療倫理與病患權益。